Bắt đầu ở Nam Kỳ nơi người Pháp đặt nền cai trị đầu tiên ở Đông Dương, họ cho lập một số cơ sở huấn luyện như Trường Thông ngôn (Collège des interprètes) năm 1862 ở Sài Gòn, nhưng mục đích chính là để đào tạo nhân sự cho chính quyền người Pháp chứ không phải nâng cao kiến thức người bản xứ. Riêng một ngoại lệ là trường d'Adran (Collège D'Adran) ở Sài Gòn do Hội Thừa sai Paris lập nên và sau do dòng tu Lasan quản nhiệm nuôi dạy trẻ em nghèo.

Ngày 20 Tháng Hai năm 1873 thì chính quyền cho lập Trường Hậu bổ ở Sài Gòn (Collège des Stagiares) do Jean Luro điều hành để đào tạo công chức người Pháp khi sang nhận nhiệm sở Đông Dương.[1] Sau đó Trương Vĩnh Ký được bổ làm Chánh đốc học.[2]

Năm 1903 ở thì người Pháp cho lập Trường Hậu bổ, Hà Nội rồi Trường Hậu bổ, Huế (năm 1911) cũng với mục đích đào tạo nhân sự hành chính. Trong khi đó giáo dục đại chúng không mấy thay đổi so với giáo dục khoa cử thời Nguyễn ở Việt Nam hoặc giáo dục do nhà chùa đảm trách ở hai xứ Lào và Miên.

Trường Pháp-bản xứ

Dù vậy cũng khởi đầu ở xứ thuộc địa trực trị Nam Kỳ năm 1879 chính quyền Pháp thành lập loại trường hỗn hợp (tiếng Việt gọi là "trường Pháp-Nam" hoặc "trường Pháp-Việt") lấy mẫu từ trường công ở bên chính quốc. Năm 1904 thì hệ thống loại trường mới này mở ở Bắc Kỳ; Cao Miên theo gót năm 1905, và đến năm 1906 thì áp dụng ở cả Lào và Trung Kỳ. Mặc dù có sự hỗ trợ của chính quyền, loại trường mới này chỉ có một thiểu số nhỏ học sinh ghi danh theo học. Riêng ở Bắc Kỳ năm 1917 trong số 22 tỉnh thành chỉ có 67 trường.[3] Để tiện bề so sánh, trước đó chín năm ở hai xứ bảo hộ Bắc và Trung Kỳ thì số liệu năm 1908 ước tính vẫn còn 15.000 trường truyền thống do các ông đồ dạy chữ Nho với khoảng 200.000 học sinh theo học.[4]

Ngoài mục đích giáo dục, chủ trương của chính quyền khi mở trường Pháp Nam còn do động lực chính trị. Đó là vì nhóm văn thân vẫn chưa khuất phục nhà nước Bảo hộ; người Pháp cho rằng giới nho sĩ là mầm mống kháng cự nên họ tìm cách triệt hạ lề lối giáo dục bản xứ cựu triều để cách ly lớp trẻ khỏi lối tư duy cũ.